StepAudio 3 Realtime Technical Report
StepAudio 3 Realtime 技术报告
🧭 实时音频语言模型与语音 Agent
StepFun Audio Team
实时语音基础模型实现边说边想的低延迟深度推理与全双工语音交互
📌 工作参考价值（4 点）
- 边想边说机制低延迟推理：Think-While-Speaking 将私有推理与音频输出并行，可迁移到对话式推荐/客服系统，在生成用户可见回复的同时后台进行复杂排序、召回或收益计算，避免深度模型引入的延迟。
- 全双工流式交互建模：把用户停顿、backchannel、插话作为第一等事件处理，适合电商直播互动、语音导购等场景，避免打断导致上下文丢失，可借鉴其同步音频流状态管理方式。
- 异步 Voice Agent 工具调用：工具执行不阻塞语音流，适合需要实时推荐商品、查询优惠、调用后台服务的语音助手架构，前台持续对话，后台完成工具链路，提升体验流畅度。
- 音频理解与推理统一评估：MMSU、AA Full-Duplex Bench、τ-Voice 等指标覆盖听、说、工具调用，可作为构建语音推荐/客服评测集的参考维度。